Les utilisateurs sont-ils de plus en plus sévères ? Les notes sont-elles en constante augmentation ? Qu'est ce qui fédère le mécontentement des utilisateurs ?
Toutes les données ont été récuppérées sur Metacritic dans la dernière semaine de Février 2023.
On regardera les consoles suivantes :
Mais on ne garde que les jeux ayant à la fois une note Méta et une note utilisateur
Par curiosité, on peut voir le cycle de vie des différentes plateformes, en regardant le nombre de jeux sortis par année. On regarde d'abord le nombre de fiches sur MC pour cette plateforme, par année, puis le nombre de fiches ayant des notes critiques et utilisateurs (donc encore une fois celles sur lesquelles on va pouvoir faire notre enquête plus poussée)
À quoi resemble le cycle de sortie au cours d'une année ? (i.e on regarde le nombre de jeux sortis par mois, toutes années confondues, par console)
On voit bien un pic en Novembre, et un plus léger en Mars, toutes consoles confondues.
Toutes consoles confondues, on regarde comment se répartissent les notes Méta (celles basées sur les publications) et les notes Utilisateurs
On observe deux distributions décentrée (i.e. la note moyenne n'est pas 50%, mais bien supérieure). On voit aussi que les deux distributions sont décalées l'une par rapport à l'autre. Les utilisateurs sont plus sévères en général.
On remarque aussi quelques points d'accumulation - par exemple la note "50%" semble souvent utilisée par les utilisateurs, mais pas spécialement par la critique. La note de 80% est aussi populaire chez les deux, et c'est d'ailleurs la plus courante (c'est le mode) pour les notes MC.
On peut lisser ces deux distributions pour avoir une idée plus claire de ce qu'il se passe.
Enfin, on peut regarder comment sont distribuées les offset. OFFSET : la différence, par jeu, entre le score Méta et le score utilisateur.
Plus le Offset est grand, plus le score Méta est supérieur au score utilisateur (jeu surnoté par la critique). À l'inverse, un offset négatif signifique que le jeu a reçu une note moyenne utilisateur supérieure à la note Méta.
Ça penche à !droite Ça qui confirme ce qu'on a vu avant - il y a plus de jeux qui sont surestimés par la critique que l'inverse.
Les notes utilisateurs sont en moyenne inférieures aux notes Critique.
Voici la distribution des scores Meta pour chaque console. Ça se ressemble.
Seule petite tendance qui se dégage : les consoles les plus récentes (Series X et PS5) ont une distribution de notes favorisant les notes hautes (sans doutes que le shovelware n'est pas encore arrivé !).
(Pour information, la limite haute/ à droite de chaque boite indique le 3ème quartile, c'est à dire que 25% des notes sont supérieures)
Regardons maintenant les notes utilisateurs moyennes pour chaque jeu de chaque plateforme. On voit que ça tire bien plus vers le bas !
Et représentons maintenant, pour chaque console, les distributions de notes Meta et des notes utilisateurs côte à côte pour se rendre compte de la situation...
On dirait que plus la console est récente, plus les notes sont sévères. Ou alors les consoles nintendo sont relativement épargnées.
On voit notamment pour chaque console Sony et Microsoft que la médiane des notes utilisateur (le trait horizontal dans chaque boîte) est bien plus bas que pour les notes Méta.
Globalement, les utilisateurs sont plus sévères que les sites pro
On regarde maintenant, toujours par console, la distribution des offset.
Enfin, pour finir cette première vision de la situation, introduisons la notion de Ratio.
Le ratio est calculé par jeu en regardant le nombre de notes utilisateur divisé par le nombre de note pro (qui contribuent à la note Méta). Ainsi, un ratio de 1 montre qu'il y a autant d'utilisateurs ayant mis une note à ce jeu que de critiques. Un ratio élevé montre que de nombreux utilisateurs ont mis une note (phénomène de review bombing). Il être intéressant de voir quels jeux ou développeurs suscitent ce bombing !
Voici d'ailleurs comment sont repartis les ratio : en général, on est proche de 1, mais il y a toute une franche de revue où les utilisateurs s'en sont donnés à coeur joie.
Regardons maintenant par jeu. Ça risque d'être touffu, mais voici comment nous allons représenter cela.
Chaque point du graphe représente une jeu, sur une platefome.
La diagonale grise représente X=Y, c'est à dire que si un jeu a la même note utilisateur que critique, alors il sera sur cette ligne.
Ainsi, si un jeu a une note utilisateur inférieure à la note critique, il va se retrouver en dessous de la ligne blanche (et si c'est l'inverse, autrement dit les utilisateurs ont été plus généreux que les critiques, il sera au dessus de cette ligne blanche).
Comme attendu, on a plus de jeux en dessous qu'au dessus.
Intéressant aussi de regarder comment cela change en fonction des plateformes.
Enfin, j'ai ajouté une information : la taille du cerle représente le ratio entre le nombre de critique utilisateur et le nombre de critiques méta. Ce ratio est égal à 1 si on a le même nombre, et sera supérieur à 1 si il y a plus d'utilisateurs ayant laissé une note qu'il y a de notes de critiques. Le but de ce cercle est de montrer les cas de "review bombing", i.e. quand une armée d'utilisateurs se mettent à faire la revue d'un jeu.
On peut maintenant simplifier ce graphe en ne gardant que les points avec un ratio de 20 (i.e. les jeux qui ont déclenché les passions des utilisateurs)
Comme le montre la table ci dessous, nous avons 327 critiques officielles ayant émis au moins un avis
| critic | avg_score | avg_offset | num_critics | |
|---|---|---|---|---|
| 0 | Nintendo Life | 72.683240 | 1.677240 | 2333 |
| 1 | God is a Geek | 75.959801 | 5.449864 | 2214 |
| 2 | COGconnected | 75.983341 | 5.907450 | 2161 |
| 3 | Vandal | 76.605680 | 4.445531 | 2148 |
| 4 | NintendoWorldReport | 74.735407 | 1.844019 | 2090 |
| ... | ... | ... | ... | ... |
| 322 | Cynamite | 90.000000 | 3.000000 | 1 |
| 323 | IncGamers | 80.000000 | 0.000000 | 1 |
| 324 | Hooked Gamers | 79.000000 | 22.000000 | 1 |
| 325 | Glixel | 80.000000 | 8.000000 | 1 |
| 326 | Gamereactor Norway | 80.000000 | 14.000000 | 1 |
327 rows × 4 columns
Et voici comment se répartissent les critiques. En couleur, on montre la note moyenne (pas de tendance qui se dégage, on a de tout - des sites qui ont plus de 1000 critiques, et d'autres qui n'en ont que quelques unes).
On avait regardé plus haut comment se répartissaient les notes Méta par jeu. Maintenant, si on se détache de la notion de jeu et qu'on regagarde toutes les notes données par toutes les critiques, voici la distribution. Notons que ça a un drôle d'aspect car certaines publications notent tous les 20 points sur 100 (car note sur 5 ou 5 étoiles), d'autres sur 10, d'autres sur 20 et enfin d'autres sur 100. D'où les pics tous les 20 points et plus petits touts les 10 points.
La répartition des notes utilisateurs individuelles nous montre quelque chose de surprenant que nous ne pouvions pas voir plus haut : elle est complètement bimodal, avec 2 maximums, l'un à 0 et l'autre à 10. On voit bien le jugement relativement 0 ou 1 auquels les utilisateurs font appel en masse.
Quand on sélectionne une console individuelle, on voit que le phénomène s'est accentué après la Wii U et 3DS.
On peut regarder, pour chaque critique, comment se répartissent leurs notes.
Voici 3 exemples
On voit ici deux publications ayant choisi des notes tous les 10 points, et une autre (IGN) qui semble avoir un système hybride - ou peut être ayant changé.
Le graph suivant indique, pour chaque Critique (par exemple FNintendo, Gamekult...) la note moyenne récuppérée sur Metacritic vs l'offset moyen (c'est à dire la différence moyenne entre la note donnée aux jeux par la critique et la note donnée par les utilisateurs de Metacritique).
La taille des points indique le nombre de jeux évalués par cette critiques sur Metacritic. Plus le point est gros, plus le site est utilisé sur Metacritic.
On note un outlier interessant dans le coin inférieur gauche - GameKult qui a tendance à noter les jeux plutôt bas, et à être moins généreux que les utilisateurs. C'est rare ! On voit ici que le nuage de points est autour de l'axe x=5, ce qui montre qu'en général, les sites sont plus généreux de 5 points que les utilisateurs.
2660 développeurs dans la base, le plus prolifique étant Capcom. Gardons en tête que chaque console est comptée individuellement (donc un jeu sorti sur 4 consoles est compté 4 fois), et que certains développeurs ont changé de nom au cours du temps (UbiSoft, EA Sports...)
| developer | platform | title | |
|---|---|---|---|
| 0 | Telltale Games | PlayStation 4 | 53 |
| 1 | Telltale Games | Xbox One | 49 |
| 2 | Capcom | PlayStation 4 | 41 |
| 3 | Square Enix | PlayStation 4 | 31 |
| 4 | Nintendo | Switch | 29 |
| ... | ... | ... | ... |
| 4605 | Herobeat Studios | Switch | 1 |
| 4606 | Herobeat Studios | Xbox One | 1 |
| 4607 | HexaDrive | PlayStation 4 | 1 |
| 4608 | HexaDrive | Xbox One | 1 |
| 4609 | yeo | Switch | 1 |
4610 rows × 3 columns
Regardons par exemple tous les titres de From Software
0 Bloodborne 1 Bloodborne: The Old Hunters 2 Dark Souls II: Scholar of the First Sin 3 Dark Souls III 4 Dark Souls III: Ashes of Ariandel 5 Dark Souls III: The Ringed City 6 Dark Souls Remastered 7 Deracine 8 Sekiro: Shadows Die Twice 9 Elden Ring 10 Elden Ring 11 Dark Souls Remastered 12 Dark Souls II: Scholar of the First Sin 13 Dark Souls III 14 Dark Souls III: Ashes of Ariandel 15 Dark Souls III: The Ringed City 16 Dark Souls Remastered 17 Sekiro: Shadows Die Twice Name: title, dtype: object
On peut regarder les développeurs ayant les plus forts offset, c'est à dire le plus grand décallage moyens pour leurs jeux entre la note Meta et la note utilisateur.
| developer | avg_offset | num_games | avg_meta | avg_user | avg_ratio | |
|---|---|---|---|---|---|---|
| 2381 | Twice Circled | 62.0 | 1 | 78.0 | 16.0 | 1.250000 |
| 689 | Electronic Arts, EA Tiburon | 59.0 | 1 | 79.0 | 20.0 | 5.590909 |
| 288 | Blizzard Entertainment, Digital Eclipse | 57.0 | 1 | 75.0 | 18.0 | 1.142857 |
| 1824 | Red Cerberus | 55.0 | 1 | 82.0 | 27.0 | 6.909091 |
| 1030 | Huge Calf Studios | 55.0 | 1 | 72.0 | 17.0 | 0.750000 |
| ... | ... | ... | ... | ... | ... | ... |
| 2051 | Snowrunner Games | -31.0 | 1 | 30.0 | 61.0 | 3.444444 |
| 1900 | RunicCodes | -31.0 | 1 | 35.0 | 66.0 | 1.400000 |
| 1021 | Hoplite Research | -32.0 | 2 | 38.0 | 70.0 | 2.625000 |
| 1947 | Samustai | -42.0 | 1 | 41.0 | 83.0 | 1.000000 |
| 2125 | Square Enix, ilinx inc. | -45.0 | 1 | 37.0 | 82.0 | 6.153846 |
2660 rows × 6 columns
Un peu comme les jeux plus tot, regardons les développeurs - note Meta moyenne vs. note utilisateur moyenne, en affichant leur 'ratio' moyen (c'est à dire à quel point les revues pour ce développeurs sont susceptibles de recevoir un afflux d'utilisateurs)
Ce graphe permet de voir rapidement quels développeurs suscitent les passions, dans un sens comme dans l'autre (les gros ronds) et de voir les développeurs qui se font descendre par les utilisateurs par rapport à leur note méta : les points vers le bas / droite.
Regardons l'évolution des notes Méta et utilisateurs pour les titres de certaines compagnies.
Comment évoluent les scores au fil du temps ?
Commençons par regarder, pour chaque jeu, sa note Méta, avec en x (abcisse) la date de sortie.
On voit le changement de couleur au fil du temps, qui montre bien l'enchaînement des plateformes dans le temps.
Note : si vous double-cliquez sur une plateforme dans la légende, cela isole les données pour cette console. En cliquant simple, on active / désactive cette console.
On affiche maintenant le même graphe mais pour les notes utilisateurs. Comme on pouvait s'y attendre, les notes sont plus basses en moyenne.
En revanche, ce graphe montre quelque chose de fascinant : les points qui surnagent au dessus de la mélée sont des jeux assez... particuliers. On voit que ce n'est que pour certains jeux ou certaines séries (Dynasty Warrior par exemple) que les utilisateurs se donnent la peine de faire du bruit sur MC.
Et maintenant regardons le Offset de chaque jeu au cours du temps.
Simplifions ceci en regardant, par année, le offset moyen des jeux publiés, et ce par console. On distingue une tendance globale à la croissance de cet offset au travers du temps. On voit aussi que le début et la fin des cycles de console semblent avoir un offset plus élevé.
Oublions les plateformes et regardons la moyenne des notes Meta et des notes utilisateurs pour les jeux sortis cette année.
On voit que les notes Méta montent mais que les notes utilisateurs restent stables en moyenne (autour de 67%)
Et voici la synthèse - évolution de l'offset moyen, tous jeux comfondus, par année.
On a vu dans les graphes précédents que ce paramêtre dépendait beaucoup des plateformes et du cycle de vie de ces dernières. On observe bien une tendance vers l'augmentation de ce derniers - i.e. des scores utilisateurs moyens qui ont tendance à être plus sévères que les scores des critiques.